通用功能
开始之前:
HUSKYLENS 2的新版固件(v.1.2版本)新增以下通用功能,可与MindPlus中最新版本HUSKYLENS 2图形化库(最新版本为v.0.2)配套使用。
1. 无线通讯
当HUSKYLENS 2装上WIFI 模块后,当与主控连接在同一WIFI下时,可以通过无线通讯积木块,实现主控与HUSKYLENS 2之间的无线通讯。
首先,为HUSKYLENS 2装上WIFI 模块,安装教程请看:二哈识图2WiFi模块安装与无线使用教程
第2步,HUSKYLENS 2 联网。打开系统设置\WiFi, 开启WiFi, 点击对应WiFi名称,并输入密码。或者点击右上角扫码,扫码对应二维码,连接WIFI。联网成功得到HUSKYLENS 2的IP地址,这个地址就是填入积木中的无线通讯的IP。
第3步,加载行空板K10 WiFi库,在扩展库中加载网络服务\WiFi库,输入与HUSKYLENS 2同一个WiFi名称和密码
示例程序如下:
运行结果:如下图,确保HUSKYLENS 2 上电并连接WiFi。使用USB数据线连接行空板K10与电脑,上传程序,无须使用数据线连接K10与HUSKYLENS 2。当行空板K10 的屏幕上显示“连接成功“后,HUSKYLENS 2自动进入手势识别模式,按下行空板K10板载A键,可以远程在HUSKYLENS 2屏幕绘制矩形。
2. 多模型使用
2.1 多模型并联使用
HUSKYLENS 2支持多个模型同时工作,完成不同的视觉识别工作。最多可以同时使用3个模型(注意如果只加载2个模型,第三个模型一定要选择‘‘无’’),并手动为每个模型分配算力。
如下:可以同时使用人脸识别、手势识别和物体追踪模型识别画面中是否有人物出现、人物的手势是什么以及是否有我们追踪的物体。这里我们为三个模型分配同等算力。
示例程序如下:
运行结果:如下图当画面中出现已经学习过的人物、手势和追踪物体时,HUSKYLENS 2能实时识别出来并将其对应名称显示在行空板K10的屏幕上。请预先学习人脸、手势和要追踪的物体。
2.2 多模型切换使用
HUSKYLENS 2内置模型较多,如果想在项目中切换不同模型,我们建议使用多模型模式预先加载好预备使用的模型,再通过配置算力的方式,实现不同模型之间的切换使用。
如下,实现实时检测画面中是否有人员跌倒,再判断具体跌倒人员是谁时,可以先启用跌倒检测模型,检测到跌倒行为后再启用人脸识别模型,识别是否是学习过的人脸,来确定跌倒人员的身份。
通过标志变量和切换算力配比,能实现多个模型之间的丝滑切换使用,避免每次切换重新加载模型的耗时问题。
示例程序如下:
运行结果:如下,HUSKYKLENS 2在跌倒检测模式当检测到跌倒行为,行空板K10的屏幕上出现警示文字,随后切换为人脸识别模式,对跌倒人员进行人脸识别,如果该人脸是事先学习过的人脸,行空板K10出现任务名称。
3. 屏幕显示
可以通过屏幕显示指令在HUSKYLENS 2上绘制文字,矩形框和指示框。对于矩形框可以通过‘‘绘制新矩形’’指令在屏幕上绘制多个不同颜色和尺寸的矩形框。对于指示框,只能通过‘‘绘制或更新指示框’’指令,在屏幕上绘制一个特定的指示框。通过‘‘绘制或更新指示框’’指令,还能对此特定的指示框更新颜色和尺寸。
示例程序如下:
运行结果:如下,运行程序,HUSKYLENS 2进入人脸识别模式。屏幕上出现文字‘‘欢迎使用Huskylens2’’和两个不同尺寸的蓝色矩形框。按下行空板K10的A键,屏幕上出现一个绿色的指示框,按下行空板B键原来的绿色指示框更新为尺寸更小的红色指示框。
4. 学习/遗忘 ID
一般情况下,HUSKYLENS 2学习并记住ID的方式是手动按下HUSKYLENS 2的学习键-A键,HUSKYLENS 2学习十字光标内的目标物(人脸、物体、姿势等)。可以通过学习/遗忘 ID积木,通过程序让HUSKYLENS 2学习,为指定ID的目标命名、遗忘已学习的所有ID。
示例程序如下:
运行结果:如下,运行程序,HUSKYLENS 2进入人脸识别模式,左上角出现蓝色矩形框。当人脸出现在蓝色矩形框内时,按下行空板K10板载A键,HUSKYLENS 2自动学习人脸并将ID1人脸命名为‘‘李蕾’’,按下行空板K10板载B键,遗忘全部人脸ID。
5. 多媒体
可以使用多媒体积木,实现HUSKYLENS 2的播放音频、拍照和截图功能。音频播放的mp3文件必须放在.\Huskylens\storage\audio 目录下
示例程序如下
运行结果如下:确保在.\Huskylens\storage\audio 目录下存在music.mp3,上传程序,HUSKYLENS 2进入人脸识别模式,按下B键,HUSKYLENS 2自动截图,行空板K10屏幕显示截图名称;按下A键,HUSKYLENS 2自动播放音乐